The Pitfall of Scaling Up: Uncovering and Mitigating Popularity Bias Amplification in Scaling Transformer-based Recommenders
扩大Transformer推荐模型规模时流行度偏差的放大陷阱及其缓解
🧭 序列推荐 · 流行度偏差与谱正则化 ★ 深度解读
Zhejiang University · University of Science and Technology of China
揭示Transformer序列推荐深度缩放导致谱坍缩放大流行度偏差，提出层级谱正则化方法SPRINT实现准确性与公平的双赢。
📌 工作参考价值（4 点）
- 在电商/广告推荐中扩大Transformer深度时，需警惕流行度偏差同步放大，导致长尾物品曝光下降；SPRINT 的注意力和前馈正则化可直接嵌入现有架构，以极小计算成本（~3%训练时间）控制谱范数。
- 具体实现：对自注意力矩阵的列和施加logsumexp平滑上界，防止少数热门物品垄断注意力权重；对前馈权重用幂迭代估计谱范数并正则化，抑制深度网络中的低秩坍缩。
- 两个正则项联合可使模型在扩大规模时保持准确率和公平性的帕累托前沿，例如在SASRec++上NDCG@5提升15.7%，Fair-0.8提升7.12%，适合大规模排序系统。
- 方法对Transformer模块通用，已验证可迁移至生成式推荐（TIGER、LETTER），实现长尾曝光提升，为工业级模型扩展提供了偏差控制方案。